Introduzione alla modellazione generativa: andare oltre la discriminazione

Stiamo passando da modellazione discriminativa, che risolveva problemi di classificazione e regressione apprendendo la probabilità condizionata $P(y|x)$, al complesso dominio della modellazione generativa. Il nostro obiettivo principale ora si sposta verso stima della densità: stimare la distribuzione completa dei dati sottostante $P(x)$ stessa. Questo cambiamento fondamentale ci permette di catturare le dipendenze intricate e la struttura complessa all'interno di insiemi di dati ad alta dimensione, andando oltre la semplice separazione di confini per raggiungere una vera comprensione e sintesi dei dati.

1. L'obiettivo generativo: Modellare $P(x)$

Lo scopo di un modello generativo è stimare la distribuzione di probabilità $P(x)$ da cui proviene il dato di addestramento $X$. Un modello generativo di successo può svolgere tre compiti essenziali: (1) Stima della densità (assegnare un punteggio di probabilità a un input $x$), (2) Campionamento (generare punti dati completamente nuovi $x_{new} \sim P(x)$), e (3) Apprendimento non supervisionato delle caratteristiche (scoprire rappresentazioni significative e distaccate nello spazio latente).

2. Tassonomia: Probabilità esplicita vs. implicita

I modelli generativi sono fondamentalmente categorizzati in base al loro approccio alla funzione di verosimiglianza.Modelli di densità esplicita, come Autoencoder variazionali (VAE) e Modelli di flusso, definiscono una funzione matematica di verosimiglianza e cercano di massimizzarla (o il suo limite inferiore).Modelli di densità implicita, in modo particolare Reti Generative Avversarie (GAN), saltano del tutto il calcolo della verosimiglianza, apprendendo invece una funzione di mappatura per campionare dalla distribuzione $P(x)$ utilizzando un framework di addestramento avversario.

Sintesi dei dati e interpolazione delle caratteristiche

I modelli generativi dimostrano la loro capacità generando istanze innovative e ad alta fedeltà (ad esempio volti non visti, texture complesse) o consentendo l'interpolazione semantica nello spazio latente appreso, illustrando la comprensione del modello della variabilità dei dati.

Examples of AI-generated faces and interpolated features.

Domanda 1

Nella modellazione generativa, quale è la distribuzione principale di interesse?

$P(x)$

$P(y|x)$

$P(x|y)$

$P(y)$

Domanda 2

Quale tipo di modello generativo si basa sull'addestramento avversario e evita di definire una funzione di verosimiglianza esplicita?

Autoencoder variazionale (VAE)

Modello autoregressivo

Rete Generativa Avversaria (GAN)

Modello misto gaussiano (GMM)

Sfida: Rilevamento delle anomalie

Sfruttando la stima della densità

Un'istituzione finanziaria ha addestrato un modello generativo di densità esplicita $G$ su milioni di record di transazioni legittime. Arriva una nuova transazione $x_{new}$.

Obiettivo: Determinare se $x_{new}$ è un'anomalia (frode).

Passo 1

In base alla stima della densità di $P(x)$, quale misura statistica deve essere valutata per $x_{new}$ per segnalarla come anomala?

Soluzione:
Il modello deve valutare la probabilità (o la verosimiglianza) $P(x_{new})$. Se $P(x_{new})$ è inferiore a un valore soglia predefinito $\tau$, ciò significa che il nuovo punto è statisticamente improbabile sotto la distribuzione appresa delle transazioni normali, e quindi viene contrassegnato come anomalo.